Архив Југославије основан је Општим законом о државним архивима 21.1. 1950. године као Државни архив ФНРЈ, са задатком да прикупља, штити и обрађује сав историјско-архивски материјал који је настао на територији Федеративне Народне Републике Југославије, без обзира на то у чијем је власништву – друштвеном или грађанском. Тиме је питање заштите историјско-архивског материјала стављено под нарочиту заштиту државе, а Државна архива ФНРЈ под надзор Министарства за науку и културу ФНРЈ.
У циљу прикупљања, заштите и обраде историјско-архивског материјала, Законом је предвиђено и оснивање државних архива народних република и архива у градовима, аналогно административној подели или специфичном историјском развитку неких територија. Једном речју, поставио је основу за развој мреже архивских установа. Током 1951. године донети су закони о архивима у НР Србији, НР Македонији и НР Црној Гори а 1962. у НР Босни и Херцеговини и НР Хрватској.
Општи закон о државним архивима такође је предвидео и оснивање Главног архивског савета ФНРЈ, као стручног саветодавног органа при Савету за науку и културу Владе ФНРЈ, са задатком да проучава теоријска, методолошка и организациона питања из домена архивске делатности.
Доношење Устава Социјалистичке Федеративне Републике Југославије 7. априла 1963. године представљало је важну прекретницу у организацији државе, а самим тим и у развоју архивске делатности. Уставне промене, засноване на даљем развоју самоуправљања и преуређењу односа између федерације и социјалистичких република, створиле су потребу за усаглашавањем архивског законодавства са новим уставним поретком. Доношењем нових савезних закона 1964. године, Општег закона о архивској грађи (9.12.1964), Закона о архиву Југославије (9.12.1964) и Закона о Архивском савету Југославије (9.12.1964) постављен је нови правни оквир за организацију и рад архивске службе у Југославији.
Општи закон о архивској грађи из 1964. године дефинисао је појам архивске грађе, утврдио правни оквир њене заштите, дао јој својство споменика културе и прогласио је друштвеном својином.
Закон о Архиву Југославије из 1964. године био је први закон у држави којим је уређено питање делатности, статуса и управљања као и сва друга питања од значаја за рад Архива Југославије на заштити архивске грађе која је настајала у органима и организацијама федерације.
Овим Законом уређен је статус Архива Југославије као установе чија је делатност од посебног друштвеног интереса. У надлежности Архива Југославије било је прикупљање, сређивање, обрађивање, чување и давање на коришћење архивске грађе, која је од посебног интереса за федерацију, као и вођење општих података о архивима и њиховим архивским фондовима и сви други послови који су му законом стављени у делокруг.
Законом је такође установљен и Архивски савет Југославије, као стручно тело које ће вршити одређене стручне, саветодавне и друге послове из надлежности федерације у области заштите архивске грађе федерације као што су утврђивање начела о јединственом евидентирању и одабирању архивске грађе из регистратурског материјала; разматра питања од заједничког интереса у погледу заштите архивске грађе и метода рада на тој заштити и даје о томе препоруке и мишљења организацијама које се баве заштитиом архивске грађе; даје предлоге и мишљења савезним органима о питању заштите архивске грађе.
Оснивањем Архивског савета Југославије престао је да постоји Главни архивски савет.
Услед уставних промена из 1968. и 1971. године, као и потребе да се прецизније уреди систем заштите архивске грађе од интереса за федерацију, донет је нови Закон о Архиву Југославије, усвојен 27. децембра 1972, а објављен у «Службеном листу СФРЈ», бр. 6/1973. године. Њиме је положај Архива усклађен са измењеним уставним и законским оквиром, а његова делатност одређена у односу на потребе и функције савезних органа.
Законом о Архиву Југославије из 1973. године Архиву Југославије стављено је у надлежност да прикупља, штити, чува, сређује, обрађује, објављује и даје на коришћење архивску грађу насталу радом централних државних органа и установа; централних органа политичких странака и других организација у Краљевини Југославији као и органа у федерацији.
Законом о организацији и делокругу савезних органа управе и савезних организација од 28.4.1978. године Архив Југославије је добио статус савезне организације, односно самосталне установе одговорне за свој рад савезној влади.
Делокруг рада Архива Југославије у области заштите архивске грађе федерације прецизније је уређен Законом о архивској грађи федерације од 7. 3. 1986. године, који је појмовно дефинисао архивску грађу федерације. Под архивском грађом федерације сматрала се грађа настала у раду савезних органа, друштвено-политичких организација у федерацији, установа које су вршиле послове од интереса за остваривање функција федерације, заједница основаних савезним законом као и друштвених организација и удружења грађана и њихових савеза и самоуправних организација и заједница којима је савезним законом поверено вршење јавних овлашћења.
Архив Југославије је 2003. године, услед државно-правних промена, преименован у Архив Србије и Црне Горе. Након распада те државне заједнице, 2009. године Архиву је враћен назив Архив Југославије, а његов статус уређен као статус установе културе.
Законом о архивској грађи и архивској делатности, чија је примена почела 2021. године, утврђен је статус Архива Југославије као јавног архива и установе заштите архивске грађе, са надлежностима које обухватају заштиту архивске грађе настале радом централних државних органа и организација југословенске државе у периоду од 1918. до 2006. године, као и послове у вези са применом Анекса „Д“ Споразума о питањима сукцесије.
Преузимање архивске грађе од њених стваралаца једна је од најважнијих функција сваког архива. Проблем простора за смештај грађе, са којим се Архив суочава од самог настанка, потреба да се после оснивања прикупи грађа за коју је надлежан, али и крупне промене 90-их година прошлог века, утицали су на велике осцилације у количини примљене грађе током различитих година. Тако је 1955. године примљена архивска грађа од укупно 7202 метра дужине, а после распада СФРЈ, 1990–1993, укупно је преузето 10.845 метара грађе. Од краја 80-их и почетком 90-их година преузета је из Архива Министарства иностраних послова грађа МИП-а Краљевине Југославије са свим дипломатско-конзуларним представништвима до 1945. године. Након распуштања Централног комитета Савеза комуниста Југославије Архив је преузео целокупну његову архиву (фонд AJ-507, 661 метар), заједно са запосленима. Архив Југославије је 2010. године преузео целокупну архиву Јосипа Броза Тита (фондови AJ-836 и АЈ-837, укупно око 300 метара).
Од самог оснивања па све до данас задатак АЈ био је да архивску грађу систематски прикупља, преузима, сређује и даје је на коришћење јавности. Да би архивска грађа једног фонда или збирке на најбољи начин била презентована јавности и да би се физички заштитила од пропадања она се обрађује и сређује на основу познатих принципа, валоризије се по савеременим критеријума, успоставља се структура и коначно представља кроз информативна средства (инвентаре) са циљем да истраживач што пре дође до жељене информације.
Широј јавности се богатство архивске грађе којом Архив располаже представља објављивањем и тематским изложбама докумената Од самих почетака Архив је радио на конзервацији и рестаурацији архивске грађе. Као један од видова њене заштите, у Архиву је основана фото и микрофилмска лабораторија. Последњих година се веома активно ради и на дигитализацији, што је још један вид заштите оригиналне архивске грађе. Један од најважнијих дигитализованих фондова који може да се претражује на тај начин је Збирка Милана Стојадиновића (АЈ-37). Од 1997. Архив има свој веб-сајт, који је значајније дорађен 2008. године. Сада, 2022. године, се представља и нови, модерно дизајниран сајт ове куће.
У Архиву постоји око 27 хиљада метара документарне грађе, 886 архивских фондова, 149 фондова Краљевине Југославије, 646 фондова из периода СФРЈ/СРЈ/Србије и Црне Горе и 91 збирки докумената. Збирка фотографија има око 55.000 фотографија издвојених из 71 архивског фонда и добијених поклоном или откупом. Сва архивска грађа подлеже законском року доступности (30 година), осим ако то није законом другачије прописано. Архивска грађа је смештена у депоима на две локације (зграда Архива у Васе Пелагића 33 и у бившој згради СИВ-а 2, Булевар Зорана Ђинђића 104). Сви фондови и збирке имају информативна средства – пописе (необрађени фондови) и инвентаре и картотеке (обрађени фондови и збирке). Информативна средства о сређеним фондовима (инвентари), осим у писаној, постоје и у форми базе података, од 2003. у MS Access бази, а од 2013. се користи веб апликација, која је сада доступна и на сајту Архива. На сајту Архива могу се наћи инвентари у PDF формату. Од 2000. године Архив издаје свој стручни часопис Архив.